DeLoop: Repeated Actions as Self-Supervision for Long-Horizon Agents
DeLoop：用重复动作自监督训练长程 Agent 避免循环
🧭 长程 Agent 的自我监督去循环训练 ★ 深度解读
Google · Boston University · University of Washington · University of Southern California · Google DeepMind
把 agent 重复动作当负样本、同 rollout 后续恢复动作当正样本做 DPO，大幅降低上下文压缩下的循环率
📌 工作参考价值（4 点）
- 在电商/广告的 multi-step agent 流程（购物助手、广告投放优化、搜索 query 改写 agent）里，可以先加一个结构化的重复检测器：把 tool/API call 做 canonicalize（忽略空格、参数顺序），再对比返回 observation；相同的 (call, observation) 就是 loop。这些信号可以直接用于在线拦截，也能变成训练数据。
- 用 agent 自己的 rollout 挖掘偏好对：rejected = 重复动作，chosen = 同一条 rollout 里第一个后续非重复动作。无需 reward、gold answer、LLM judge，适合业务里大量失败/无效日志的自监督学习；LoRA DPO 成本低。
- 上下文压缩/总结会明显放大 loop。如果系统里做了会话压缩、摘要、截断，建议监控压缩后的 loop rate，并且不仅优化 compressor/memory，还要训练 policy 学会使用已有历史记录。
- DeLoop-Mix 证明跨域自挖 pair 可以提升泛化：电商场景可以把搜索、推荐、客服等不同 agent 任务的 loop pair 混合训练，既压低重复动作，又提升任务成功率。